Recientemente, ByteDance lanzó un nuevo framework de sincronización labial llamado LatentSync, diseñado para lograr una sincronización de labios más precisa utilizando un modelo de difusión latente condicionado por audio. Este framework se basa en Stable Diffusion y se ha optimizado para la coherencia temporal. A diferencia de los métodos anteriores basados en la difusión del espacio de píxeles o la generación en dos etapas, LatentSync utiliza un enfoque de extremo a extremo, sin necesidad de una representación intermedia del movimiento, lo que permite modelar directamente la compleja relación entre el audio y la visión. En LatentSync

D-ID ha lanzado recientemente AI Video Translate, una innovadora herramienta de traducción de video con IA que traduce el contenido de video a múltiples idiomas, clona la voz del narrador y ajusta la sincronización labial para garantizar una perfecta coincidencia entre la traducción y las imágenes. Esta herramienta admite la renderización masiva de 29 idiomas y cuenta con una interfaz fácil de usar, lo que la hace accesible para cualquier persona. Con esta tecnología, D-ID ayuda a sus clientes a promocionar sus campañas de marketing, entretenimiento y redes sociales a nivel mundial, ahorrando costes de localización. El lanzamiento de esta tecnología supone un gran avance para las pequeñas empresas...

PIKA lanza la función de sincronización labial 'Lip sync'; Alibaba lanza el marco de generación de video EMO; EMO puede generar videos de habla de cualquier duración; la tecnología de las herramientas de generación de video de IA se optimiza continuamente.